Poco se sabe sobre la vida de este compositor. Todos los hechos conocidos de su vida y actividad provienen de Musikalischen Lexikon, de Johann Gottfried Walther (probablemente su sobrino y primo de Johann Sebastian Bach), un diccionario que apareció por primera vez en 1732. Entre 1670 y 1674 permaneció como violinista en la orquesta de Cosimo III de Médicis en Florencia. Desde 1674 fue concertmaster en la corte de Sajonia, en Dresde. Después de la muerte del soberano en 1680 llegó a ser secretario italiano en la corte del Archiduque y Príncipe Elector de Maguncia y fue ordenado canónigo.

Junto a Ignaz Franz von Biber y Johann Paul von Westhoff, J.J. Walther es sin duda uno de los violinistas más significativos del siglo XVII. Además de una técnica virtuosa que incluía notas dobles  y arpegios, sus obras despliegan una riqueza de dispositivos formales, sobre todo en el tratamiento de variaciones del bajo ostinato.

Escribió dos volúmenes de música para virtuosos del violín, “Scherzi da Violino solo con il basso continuo”, publicado en 1676,  ciclo que anticipa la técnica de Paganini en aquello que contiene imitaciones de pizzicato de arpa mientras el arco imita el canto del ruiseñor; y “Hortus chelicus”, publicado en 1688 (en la segunda impresión de 1694 con el nuevo título Wohlgepflanzter Violinischer Lustgarten), en el que Walther expresa su confianza que este volumen auto publicado disfrutará del mismo éxito que su predecesor. Contiene 28 piezas y es más variado que la otra colección.
Walther fue llamado más tarde el Paganini de su siglo.